spark编程python实例
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[])
1.pyspark在jupyter notebook中开发,测试,提交
1.1.启动
下载应用,将应用下载为.py文件(默认notebook后缀是.ipynb)
2.在shell中提交应用
3.遇到的错误及解决
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*])d*
3.1.错误
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*])d*
3.2.解决,成功运行
在from之后添加
贴上错误解决方法来源StackOverFlow
4.源码
pysparkdemo.ipynb
pysparkdemo.py
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。